We introduce KiloGram, a resource for studying abstract visual reasoning in humans and machines. Drawing on the history of tangram puzzles as stimuli in cognitive science, we build a richly annotated dataset that, with >1k distinct stimuli, is orders of magnitude larger and more diverse than prior resources. It is both visually and linguistically richer, moving beyond whole shape descriptions to include segmentation maps and part labels. We use this resource to evaluate the abstract visual reasoning capacities of recent multi-modal models. We observe that pre-trained weights demonstrate limited abstract reasoning, which dramatically improves with fine-tuning. We also observe that explicitly describing parts aids abstract reasoning for both humans and models, especially when jointly encoding the linguistic and visual inputs. KiloGram is available at https://lil.nlp.cornell.edu/kilogram .

We present lilGym, a new benchmark for language-conditioned reinforcement learning in visual environments. lilGym is based on 2,661 highly-compositional human-written natural language statements grounded in an interactive visual environment. We annotate all statements with executable Python programs representing their meaning to enable exact reward computation in every possible world state. Each statement is paired with multiple start states and reward functions to form thousands of distinct Markov Decision Processes of varying difficulty. We experiment with lilGym with different models and learning regimes. Our results and analysis show that while existing methods are able to achieve non-trivial performance, lilGym forms a challenging open problem. lilGym is available at https://lil.nlp.cornell.edu/lilgym/.

Drug repositioning holds great promise because it can reduce the time and cost of new drug development. While drug repositioning can omit various R&D processes, confirming pharmacological effects on biomolecules is essential for application to new diseases. Biomedical explainability in a drug repositioning model can support appropriate insights in subsequent in-depth studies. However, the validity of the XAI methodology is still under debate, and the effectiveness of XAI in drug repositioning prediction applications remains unclear. In this study, we propose GraphIX, an explainable drug repositioning framework using biological networks, and quantitatively evaluate its explainability. GraphIX first learns the network weights and node features using a graph neural network from known drug indication and knowledge graph that consists of three types of nodes (but not given node type information): disease, drug, and protein. Analysis of the post-learning features showed that node types that were not known to the model beforehand are distinguished through the learning process based on the graph structure. From the learned weights and features, GraphIX then predicts the disease-drug association and calculates the contribution values of the nodes located in the neighborhood of the predicted disease and drug. We hypothesized that the neighboring protein node to which the model gave a high contribution is important in understanding the actual pharmacological effects. Quantitative evaluation of the validity of protein nodes' contribution using a real-world database showed that the high contribution proteins shown by GraphIX are reasonable as a mechanism of drug action. GraphIX is a framework for evidence-based drug discovery that can present to users new disease-drug associations and identify the protein important for understanding its pharmacological effects from a large and complex knowledge base.

Vision Transformer（VIT）在图像处理中变得越来越流行。具体而言，我们研究了测试时间适应（TTA）对VIT的有效性，VIT是一种已经出现的技术，可以自行纠正其在测试时间期间的预测。首先，我们在VIT-B16和VIT-L16上基准了各种测试时间适应方法。结果表明，使用适当的损耗函数时，TTA对VIT有效，并且先前的投入（明智地选择调制参数）是不需要的。基于观察结果，我们提出了一种称为类条件特征对齐（CFA）的新的测试时间适应方法，该方法将类别条件分布的差异和在线源中隐藏表示的整个分布差异最小化，在线中的整个分布差异方式。图像分类任务（CIFAR-10-C，CIFAR-100-C和Imagenet-C）和域适应性（Digits DataSet和Imagenet-Sketch）的实验表明，CFA稳定地超过了各种数据集中的现有基础。我们还通过在RESNET，MLP混合和几种VIT变体（Vit-augreg，Deit和Beit）上实验来验证CFA是模型不可知论。使用BEIT主链，CFA在Imagenet-C上达到了19.8％的TOP-1错误率，表现优于现有的测试时间适应基线44.0％。这是不需要改变训练阶段的TTA方法中的最新结果。

从观察到的时间序列数据中学习稳定的动态是机器人技术，物理建模和系统生物学中的重要问题。这些动态中的许多被表示为与外部环境通信的输入输出系统。在这项研究中，我们专注于投入输出稳定系统，表现出对意外刺激和噪声的鲁棒性。我们提出了一种学习保证输入输出稳定性的非线性系统的方法。我们提出的方法利用了满足汉密尔顿 - 雅各比不平等的空间上的可区分投影来实现输入输出稳定性。找到该投影的问题可以作为二次约束二次编程问题，并分析得出特定的解决方案。此外，我们将方法应用于玩具双基生模型以及训练由葡萄糖胰岛素模拟器产生的基准测试的任务。结果表明，通过我们的方法，具有神经网络的非线性系统可以达到输入输出稳定性，这与天真的神经网络不同。我们的代码可在https://github.com/clinfo/deepiostability上找到。

基于有效干预措施的早期疾病检测和预防方法正在引起人们的注意。机器学习技术通过捕获多元数据中的个体差异来实现精确的疾病预测。精确医学的进展表明，在个人层面的健康数据中存在实质性异质性，并且复杂的健康因素与慢性疾病的发展有关。但是，由于多种生物标志物之间的复杂关系，确定跨疾病发作过程中的个体生理状态变化仍然是一个挑战。在这里，我们介绍了健康疾病阶段图（HDPD），它通过可视化在疾病进展过程早期波动的多种生物标志物的边界值来代表个人健康状态。在HDPD中，未来的发作预测是通过扰动多个生物标志物值的情况来表示的，同时考虑变量之间的依赖性。我们从3,238个个体的纵向健康检查队列中构建了11种非传染性疾病（NCD）的HDPD，其中包括3,215个测量项目和遗传数据。 HDPD中非发病区域的生物标志物值的改善显着阻止了11个NCD中的7个未来的疾病发作。我们的结果表明，HDPD可以在发作过程中代表单个生理状态，并用作预防疾病的干预目标。

预处理的大语言模型（LLM）广泛用于自然语言处理（NLP）的许多子场，通常被称为具有特定任务示例的优秀少数学习者。值得注意的是，思想链（COT）提示，这是一种通过分步答案示例引发复杂的多步推理的技术，在算术和符号推理中实现了最新的表演，难以置信的System-2任务不遵循LLMS的标准缩放定律。尽管这些成功通常归因于LLM的几次学习能力，但我们表明，LLM是通过在每个答案之前简单地添加“让我们逐步思考”而成为不错的零射击推理者。实验结果表明，使用相同的单个提示模板，我们的零射击功能明显优于零摄像机LLM在不同的基准推理任务上的零摄像机表现，包括算术（Multiarith，GSM8K，Aqua-Rat，SVAMP，SVAMP），符号推理（最后一个字母，字母，字母，字母，，，，，字母，字母）（最后一个字母），硬币翻转）和其他逻辑推理任务（日期理解，跟踪洗牌对象），而没有任何手工制作的几个示例，例如通过175B参数指令gpt模型将Multiarith的准确性从17.7％提高到78.7％，GSM8K从10.4％提高到40.7％，以及另一种现成的大型模型，540B参数Palm Palm的相似改进。在非常多样化的推理任务中，这个单一提示的多功能性暗示了LLM的尚未开发和研究的基本零拍功能，这表明可以通过简单提示来提取高级，多任务的广泛认知能力。我们希望我们的工作不仅可以作为具有挑战性的推理基准的最小零击基线，而且还强调了仔细探索和分析LLM中隐藏在LLM中的巨大的零拍知识的重要性，然后在制作Finetunning数据集或少数拍摄的典范之前。

大量标记的医学图像对于准确检测异常是必不可少的，但是手动注释是劳动密集型且耗时的。自我监督学习（SSL）是一种培训方法，可以在没有手动注释的情况下学习特定于数据的功能。在医学图像异常检测中已采用了几种基于SSL的模型。这些SSL方法有效地学习了几个特定特定图像的表示形式，例如自然和工业产品图像。但是，由于需要医学专业知识，典型的基于SSL的模型在医疗图像异常检测中效率低下。我们提出了一个基于SSL的模型，该模型可实现基于解剖结构的无监督异常检测（UAD）。该模型采用解剖学意识粘贴（Anatpaste）增强工具。 Anatpaste采用基于阈值的肺部分割借口任务来在正常的胸部X光片上创建异常，用于模型预处理。这些异常类似于实际异常，并帮助模型识别它们。我们在三个OpenSource胸部X光片数据集上评估了我们的模型。我们的模型在曲线（AUC）下展示了92.1％，78.7％和81.9％的模型，在现有UAD模型中最高。这是第一个使用解剖信息作为借口任务的SSL模型。 Anatpaste可以应用于各种深度学习模型和下游任务。它可以通过修复适当的细分来用于其他方式。我们的代码可在以下网址公开获取：https：//github.com/jun-sato/anatpaste。

我们介绍了一种使用生成深神经网络的新颖人工认知映射系统，称为变形AutoEncoder /生成的对抗网络（VAE / GaN），其可以将输入图像映射到潜在矢量并在内部产生时间序列。结果表明，预测图像的距离反映在训练后相应的潜伏载体的距离中。这表明潜伏空间是自组织的，以反映数据集的接近结构，并且可以提供一种机制，通过该机制通过该机制是空间地表示的许多方面。本研究允许网络内部生成类似于海马重播/预发放能力的时间序列，其中VAE仅产生过去经验的近准确的重放，而是通过引入GAN，所生成的序列与不稳定性和新颖性相结合。